Trước khi Pháp đánh Bắc kỳ lần thứ hai (1882), ông đã có "bản mật tấu" gửi triều đình Huế, trong đó nêu những biện pháp phòng chống địch. Ông chủ trương và tích cực xây dựng những đồn sơn phòng ở vùng rừng núi hiểm yếu, chuẩn bị căn cứ chống Pháp ở Quảng Bình, Hà Tĩnh và nhất là căn cứ Tân Sở (Quảng Trị) với một quy mô khá lớn. Kế hoạch của ông được các đại thần chủ chiến đứng đầu là Tôn Thất Thuyết và Nguyễn Văn Tường tán thành triển khai.

Trước tết Quý Mùi (1883), ông được cử đưa đoàn sứ bộ nhà Nguyễn sang Thiên Tân (Trung Quốc) để thảo luận về việc hợp tác đánh Pháp, nhưng không thành. Đầu năm 1884, ông được giao nhiêm vụ Toàn quyền đại thần ký Hòa ước Giáp Thân 1884 gồm có 19 điều khoản vào ngày 6 tháng 6 năm 1884 tại kinh đô Huế. Đại diện các phía nhà Nguyễn là Phạm Thận Duật - Toàn quyền đại thần, Tôn Thất Phan - Phó Toàn quyền đại thần, Nguyễn Văn Tường - Phụ chính đại thần và phía Pháp là Patenôtre - Sứ thần Cộng hòa Pháp. Do hành vi này mà ông bị quần chúng đương thời lên án rất dữ dội.

Cuối năm 1884, ông công tác ở Bộ Hộ, đến năm 1885 được thăng lên Hiệp biện Đại học sĩ, kiêm Công bộ Tả tham tri. Ông trở thành một thành viên chủ chốt trong phái "Chủ chiến" tôn phò vua Hàm Nghi chống Pháp xâm lược.

Sau trận tập kích của quân triều đình vào đồn quân Pháp ở Mang Cá và Toà Khâm sứ vào đêm 7 tháng 5 năm 1885, thực dân Pháp chiếm thành Huế. Phạm Thận Duật và những quan quân trung thành đã phò vua Hàm Nghi chạy ra Tân Sở (Quảng Trị), phát Chiếu Cần Vương chống Pháp. Ngày 29 tháng 7 năm 1885, trong lúc chuẩn bị vượt biển ra Bắc để tổ chức kháng Pháp, ông bị tay sai thân Pháp bắt cùng toàn bộ gia đình.

Sau đó, Phạm Thận Duật bị giải về Huế. Ông từ chối mọi sự mua chuộc, dụ dỗ của Pháp và chấp nhận án tù giam ở Côn Đảo, rồi bị đày đi Tahiti. Sau 6 ngày lênh đênh trên tàu đi đày biệt xứ, do bị bệnh tiểu đường tái phát, ông từ trần ngày 23 tháng 10 năm 1885 ở vùng biển Malaysia.